Chân dung Ngô Đình Khả trong trang phục áo quan truyền thống

Ngô Đình Khả từng làm võ quan dưới triều Đồng Khánh, và từng theo Nguyễn Thân–một người hợp tác với chính quyền bảo hộ. Trong thư gửi Toàn quyền Đông Dương năm 1944, con trai ông là Ngô Đình Thục có nhắc lại thời gian làm võ quan của cha mình[1]:

Nếu hoạt động của hai em tôi được chứng tỏ là có hại cho quyền lợi nước Pháp thì – với tư cách của một Giám mục, của một người An-nam, và với tư cách là người con của một gia đình mà thân phụ tôi đã phục vụ nước Pháp ngay từ khi Pháp mới đến An-nam, và đã nhiều lần đưa mạng sống cho nước Pháp trong các cuộc hành quân mà cha tôi cầm đầu, dưới quyền Nguyễn Thân, chống lại các kẻ nổi loạn do Phan Đình Phùng chỉ huy, tại Nghệ An và Hà Tĩnh – tôi, tự đáy lòng, không chấp nhận...Có thể tôi lầm, tuy nhiên, thưa Đô Đốc, tôi xin thú thực là không tin – cho đến khi được chứng minh ngược lại – rằng các em tôi đã phản lại truyền thống của gia đình chúng tôi đến như thế, một gia đình đã tự mình gắn liền với nước Pháp từ lúc ban đầu, trong khi ông cha của những quan lại bây giờ hầu hết đều chống lại Pháp và chỉ quyết định thiên về Pháp khi thấy có lợi... Tôi nêu ra điều nầy khi xét thấy rằng thân phụ tôi là Ngô Đình Khả đã từng được vinh dự phục vụ nước Pháp dù sinh mạng bị hiểm nguy, và khi xét đến quá trình lâu dài của các em tôi, một quá trình được hình thành bằng lòng tận tụy vô bờ của các em tôi đối với nước Pháp, mà không sợ phải hy sinh mạng sống của mình cho nước Pháp.

Ban đầu, linh mục chính xứ Phú Cam là Eugène Marie - Joseph Allys (1852-1936), đã giới thiệu Ngô Đình Khả nhận thông dịch tài liệu tiếng Latinh và tiếng Pháp cho lính Pháp. Ông cũng được làm thông ngôn cho các quan chức thực dân với triều đình Nguyễn nên có nhiều mối quan hệ. Những mối quan hệ đó đã giúp Ngô Đình Khả có được sự cất nhắc trong triều đình Huế, vốn đang bị khống chế bởi Pháp. Vua Đồng Khánh giao cho Ngô Đình Khả một chức võ quan của triều đình. Ông từng theo Khâm mạng tiết chế quân vụ Nguyễn Thân đàn áp cuộc khởi nghĩa của Phan Đình Phùng. Tuy nhiên, vốn chẳng có sở trường gì về quân sự nên chỉ sau bốn tháng, Ngô Đình Khả xin từ chức để chăm sóc mẹ bị lâm trọng bệnh.[2]

Năm 1895, Nguyễn Thân lĩnh chức Khâm mạng tiết chế quân vụ, đem ba ngàn quân ra Hà Tĩnh lùng diệt cuộc khởi nghĩa do Phan Đình Phùng lãnh đạo. Khi đó Ngô Đình Khả làm Phó tướng cho Nguyễn Thân, Ngô Đình Khả đã theo lệnh Nguyễn Thân đào mả, lấy hài cốt Phan Đình Phùng trộn với thuốc súng, bỏ vào súng thần công bắn xuống dòng sông Lam.[2] Một số nguồn sử liệu[nào?] cho rằng, Ngô Đình khả phải chịu trách nhiệm chính trong việc thực dân Pháp biến khu vực Trấn Bình Đài ở Huế thành nhà thờ Công giáo.[2]

Năm 1896 ông được phong Thái thường tự khanh (chánh tam phẩm), chức Thương biện thuộc Viện Cơ mật. Cũng trong thời gian này ông được giao việc tổ chức Trường Quốc học, lúc bấy giờ gọi là trường Cao đẳng Tiểu học (tiếng Pháp: École Primaire Supérieure) ở chức Trưởng giáo. Có thể nói, với kiến thức được học tập tại nước ngoài cùng với sự tâm huyết dành cho giáo dục, Ngô Đình Khả đã góp phần kết hợp được văn hóa phương Tây và phương Đông trong giáo dục ở trường Quốc học Huế. Hai năm sau, tức năm 1898 vua Thành Thái phong ông làm Thượng thư phụ đạo đại thần rồi đến năm 1902 thì thăng hàm Hiệp tá đại học sĩ.[3] Cũng trong năm này, Ngô Đình Khả thôi không giữ chức vụ hiệu trưởng trường Quốc học nữa.

Năm 1905 ông thăng chức Tổng quản Cấm thành, bảo vệ vua Thành Thái. Năm 1907, lúc ông đương kim phụ chánh tại triều, vua Thành Thái có hành vi chống Pháp nên bị chính quyền Bảo hộ dưới sự vận động của khâm sứ Ferdinand Lévecque đòi truất vua Thành Thái và đày vua Thành Thái sang châu Phi, lấy cớ nhà vua bị bệnh tâm thần. Lúc đó tại triều hầu hết các đại thần đều ký vào thỉnh nguyện đó. Chỉ riêng có quan phụ đạo đại thần Ngô Đình Khả nhất quyết không chịu ký tên. Vì vậy dân gian có câu truyền: "Đày vua không Khả. Đào mả không Bài."

Sau biến cố này, Ngô Đình Khả bị người Pháp nghi ngờ đứng sau vua Thành Thái với sự ủng hộ cho Kì Ngoại hầu Cường Để, Việt Nam Quang phục hội của Phan Bội Châu. Chính vì thế, chính quyền thực dân Pháp đã tạo cớ, buộc Ngô Đình Khả nghỉ hưu sớm mà không được nhận tiền hưu dưỡng. Mãi đến khi, vua Khải Định lên ngôi, Ngô Đình Khả mới quay lại đảm nhận các chức vụ trong triều đình.

Ngô Đình Khả mất năm 1923 vì bệnh phổi.